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В работе предлагается подход к прогнозированию многомерных временных рядов телеметри- 
ческой информации с использованием ансамблей нейронных сетей. Анализируются подходы к 
формированию ансамблей нейронных сетей и оценивается их точность. Изучается возможность 
обучения нейронных сетей для уменьшения ошибки прогнозирования временных рядов. 
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Введение 

Космическая телеметрия — это совокупность технологий, позволяющая произ- 
водить дистанционный (удаленный) сбор информации о состоянии бортовых 
подсистем космических аппаратов. Их функционирование контролируется путем 
анализа показаний датчиков, которые распределены по модулям подсистем. Таким 
образом, телеметрия представляет собой многомерный временной ряд. Одной из задач 
анализа является прогнозирование данного ряда. 

Постановка проблемы 

Задача прогнозирования многомерного временного ряда в общем виде 
формулируется следующим образом [1, 2]: по известному текущему значению после- 
довательности у(К) и некоторой предыстории У(К - 1), у(К — 2), ..., У(К — т) дать оценку 
следующего значения У(К + 1). Каждый элемент последовательности у(К) представляет 
собой набор значений в момент К. Длина предыстории т, которая используется для 
прогнозирования, называется временным окном. 

Широкое распространение для решения задач прогнозирования находит 
нейросетевой подход, так как он позволяет моделировать зависимости между данными 
в результате обучения на примерах. При этом эффективность использования 
нейронных сетей (пеига| пебмотК (М№М)) зависит от архитектурных решений и методов 
обучения [1, 3], что приводит к необходимости многократного проведения 
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экспериментов. Имеется ряд примеров использования нейронных сетей в бортовых 
интеллектуальных системах поддержки принятия решений [4, 5]. 

В данной работе исследуется возможность кратковременного прогноза 
телеметрических параметров с использованием ансамблей нейронных сетей (епзетЫе 
ОЁ пеига|1 пебуогк, ЕММ) [6, 7], то есть набора ММ, принимающего решения путем 
усреднения результатов работы отдельных ММ. 

В прогнозном анализе и машинном обучении имеет место дрейф, означающий, 
что статистические свойства целевой переменной, которую модель пытается предска- 
зать, меняются с течением времени непредсказуемым образом [8], что увеличивает 
ошибку прогнозирования. Отсюда эффективность нейросетевой модели прогнозирова- 
ния может быть повышена при помощи методов инкрементного обучения ЕММ [6, 8, 9]. 

Построение ансамблей для обработки телеметрии 

Задача прогнозирования телеметрических данных решалась для трех подсистем 
белорусского космического аппарата. Это система энергоснабжения (ро\ег зуфет, РЗ), 
корректирующая двигательная установка (солгесйуе ргорш51оп зузет, СР) и целевая 
аппаратура ({агоеё едиртепь ТЕ). Соответственно, для обработки телеметрической 
информации (ТМИ) разработаны три ЕММ (рис. 1). 
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Рис. 1. Общая схема организации обработки с применением ЕММ 


На вход ЕММ поступает предварительно обработанная ТМИ и идентификатор 
требуемой подсистемы, который с помощью коммуникационного блока передается в 
супервизор ансамблей. Супервизор формирует сигнал выбора ЕММ для конкретной 
подсистемы, получает от выбранного ансамбля сформированный прогноз, и 
инициирует процедуру дообучения. Блок инкрементного дообучения отвечает за 
подготовку набора обучающих данных и обучение новых элементов ЕММ. 

В качестве базового элемента ЕММ используется многослойный персептрон с 
одним скрытым слоем с нелинейной функцией активации гиперболический тангенс. 

Размер входного слоя № для ММ одного ЕММ определяется как произведение 
числа датчиков подсистемы, для которой формируется ЕММ, и временного окна, по 
которому делается прогноз. 

Размер скрытого слоя № н для ММ одного ЕММ определятся при проведении 
эксперимента с использованием процедуры поиска субоптимального размера скрытого 
слоя одиночной ММ. 
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Размер выходного слоя № для ММ одного ЕММ определяется числом датчиков 
подсистемы, для которой формируется ЕММ. 

Обучение одиночных ММ осуществляется алгоритмом КРКОР [10]. 

Для формирования выходного значения ЕММ используются следующие подходы: 
1) выходное значение ЕММ формируется как сумма выходов отдельных ММ. Для случая 
с одним выходным нейроном вычисляется по формуле: 


1 п 
у=-У У; (1) 
= 


где п — число моделей ММ, у; выход 1-й ММ; 
2) выходное значение ЕММ формируется как взвешенная сумма выходов отдельных 
ММ. Для случая с одним выходным нейроном вычисляется по формуле: 


п 
У=У у; и (2) 
1=1 


где п — число моделей, у; — выход 1-й ММ, и’; — вес 1-й ММ, который формируется по 
формуле: 


т5е 
и= 


а (3) 
У‘ тзе; 
1=1 


где те; — М5Е-ошибка 1-й ММ на валидационном наборе; 

3) выходное значение ЕММ формируется как взвешенная сумма выходов отдельных ММ 
(формулы 2 и 3), при этом взвешивание повторяется через определенный интервал 
обработанных наборов (временных отсчетов) с оценкой по этому набору (динамически 
взвешиваемый ЕММ). 

Как видно, средневзвешенная сумма является частным случаем взвешенного 
суммирования при весовых коэффициентах равных 1. 

Данный подход проиллюстрирован на рис. 2. 

Понятие дрейф значений относится к изменению значения определения с 
течением времени и, следовательно, изменению в распределении данного значения. 
Среда, из которой эти значения получены, не является стационарной. Сдвиг в 
вероятности может указывать на то, что определения событий также могут изменяться. 

Общим знаменателем в алгоритмах детектирования дрейфа выступает ансамбль 
экспертов, которые постепенно обучаются (без доступа к предыдущим данным) на 
входных данных, в сочетании с некоторой формой взвешенного голосования для 
получения финального решения [8, 9]. 

Инкрементное обучение ЕММ подразумевает оценку точности всех моделей и их 
ранжирование по точности на каждой итерации прогнозирования. При повышении 
ошибки ЕММ детектируется дрейф целевой переменной и производится добавление в 
ансамбль нового элемента, обученного на релевантных данных. При таком подходе 
сохраняется модель, заложенная при начальном обучении, и вносятся новые параметры 
без проблемы «забывания». Таким образом, реализуется дообучение ЕММ. 


ОЕ.Е. Марушко, А.А. Дудкин 61 


155М 1561-5359. Штучний 1нтелект, 2016, № 3 


Ргергосеззед {е!етегу 


у 
Рис. 2. Выходное значение ЕММ формируется как 
взвешенная сумма выходов отдельных ММ 


Алгоритм инкрементного обучения ЕММ включает следующие шаги. 
1. Производится оценка точности ЕММ путем сравнения ошибки на предыдущем шаге 
функционирования и текущем. 
2. Если ошибка не изменилась, либо изменилась и находится в заранее заданном 
диапазоне, то осуществляется завершение работы. 
3. Иначе производится формирование набора обучающих данных, который включает 
все накопленные данные с последнего дообучения. 
4. Производится формирование и обучение новой ММ. 
5. Добавление сформированной ММ в ансамбль. 
6. Для всех ММ ансамбля производится пересчет весовых коэффициентов по формуле (3). 
Таким образом, двухуровневая модель ЕММ для прогнозирования телеметрии 
подсистем космического аппарата, представленная на рис. 1, формируется и работает 
по следующему алгоритму. 
1. Указание размеров №5 ЕММрз для обработки ТМИ Р$, № ср; ЕММсрз для обработки 
ТМИ СР$, М№те ЕММ№те для обработки ТМИ ТЕ. 
2. Обучение №; одиночных ММ на наборе ТМИ Р$. 
3. Обучение М№сру одиночных ММ на наборе ТМИ СР5. 
4. Обучение М№те одиночных ММ на наборе ТМИ ТЕ. 
5. Расчёт по формуле (3) весовых коэффициентов для одиночных ММ каждого ЕММьз, 
ЕММсь5, ЕММТе. 
6. Получение ТМ данных для обработки. 
7. Определение обрабатываемой подсистемы (Р$, СР$, ТЕ). 
8. Передача ТМ данных в соответствующий ЕММ. 
9. Формирование результата по формуле (1) или (2). 
10. Выполнение инкрементного дообучения выбранного ЕММ. 
11. Если есть данные для обработки повторить п. 6. 
12. Завершение работы. 
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Организация эксперимента для исследования эффективности анасамблей 
В табл. 1 представлены параметры наборов данных, на которых 
проводился эксперимент. 


Таблица 1. Данные телеметрической информации СР 


Название набора | Время дискретизации, с. Размерность Количество 
временного ряда отсчетов 

РЕ 5е! 501 1 24 57501 

РЕ 5е! 505 0.5 24 12245 

ОЕ 5ет 51 0.1 24 6613 


Каждый из наборов представляет собой перечень телеметрической информации, 
формируемой датчиками СР5 белорусского космического аппарата и характеризующей 
функционирование данной подсистемы: температурные параметры и уровни давления 
блока подачи ксенона, электрические параметры регулятора расхода, анода и катода 
двигателей. Значения, выдаваемые датчиками контролируемых параметров, зависят от 
режима работы СР$, который в свою очередь задается командами управления, 
передаваемыми с Земли. Значения датчиков СР коррелируют между собой, что 
позволяет рассчитывать на удовлетворительные оценки прогноза. 

Так как обучение выполняется с учителем, то необходимо сформировать 
обучающую выборку из пар «входной вектор, выходной вектор». Формирование пары 
обучающих примеров осуществляется по принципу скользящего окна [2]: т.е. берется 
некоторый отрезок временного ряда и из него выделяется несколько наблюдений, 
которые и будут представлять собой входной вектор. Значением желаемого выхода в 
обучающем примере будет следующее по порядку наблюдение. Затем окно сдвигается 
на одну позицию в направлении возрастания времени, и процесс формирования 
следующей пары обучающей выборки повторяется. 

Таким образом, если размерность временного ряда данных равна М, а размер окна 
— И, то ММ должна принимать на вход образец размером №МХИ’. Так, для \/ = 20 набор 
Е 5её $1 преобразуется во входной набор размером 480х 6589 и целевой набор 
размером 28х 6589. 

При подготовке генеральной совокупности телеметрической информации 
датчиков космического аппарата выполняется ресемплирование и масштабирование. 

Ресемплирование выполняется для преобразования исходных данных, предста- 
вляющих собой последовательность временных отметок важных событий, в форму с 
фиксированным временем дискретизации. Масштабирование необходимо, чтобы при- 
вести данные в допустимый диапазон [-1, 1]. Выходы сети также масштабируются. 

Целью эксперимента является определение влияния характеристик одиночной ММ и 
архитектур ЕММ на результативность прогноза, при окне прогнозирования равном 20 
отсчетам. 

Для оценки качества обученных ММ и ЕММ, а также для сравнения различных 
архитектур ЕММ, используются следующие величины: 

- средний квадрат ошибки (теап запаге етгог, МЗЕ): 


р я) 
М$Е=— № е; (4) 
"= 


- средняя абсолютная ошибка (теап абзо[ие еггог, МАЕ): 
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1 т 
МАЕ = — У |е1.. (5) 
т. 
= 
где е‚. = уу— 1 у и П- полученный и желаемый сигналы на выходе 1-го нейрона 
выходного слоя соответственно, т — размер выходного слоя ММ. 

В данном эксперименте входной набор разделялся в соотношении 9:1 на общую 
обучающую выборку и итоговую тестовую выборку. Общая обучающая выборка 
разделялась на валидационную (15 %), тестовую (15 %) и обучающую (70 %) выборки 
случайным образом, которые использовались для обучения, оценки и поиска лучшей 
архитектуры ММ. 

Итоговая тестовая выборка использовалась для вычисления конечных оценок 
полученных ММ. 

Оценка размера скрытого слоя ММ 

Оценивалась возможность поиска субоптимального размера скрытого слоя 
одиночной ММ по следующему алгоритму. 

1. Определение интервала поиска размера скрытого слоя. 

2. Обучение 10 ММ с размером скрытого слоя, равным текущему на интервале, 
формирование из 10 ММ взвешенного ансамбля. 

3. Оценка точности ЕММ. 

4. Пока не достигнут конец интервала поиска, происходит переход к следующему 
элементу интервала. 

5. Выбор ЕММ с наименьшей М$Е на интервале поиска, размер скрытого слоя элемента 
ЕММ будет подходящим решением. 

В табл. 2 приведены размеры скрытого слоя для наборов данных СР®. 

Стоит отметить, что данный алгоритм значительно увеличивает время форми- 
рования архитектуры ММ. 


Таблица 2. Оценка размера скрытого слоя ММ 


Набор данных Размер скрытого слоя 
ОЕ 5её 51 28 
ОЕ 5ер 505 33 
ОЕ 5е! 501 70 


Анализ подходов к формированию выходного значения ЕММ 

На рис. 3 представлен график МЗЕ в зависимости от размера 
скрытого слоя базовой ММ. 

В табл. 3 приведены оценки различных архитектур на тестовом наборе ОЕ $её $1 с 
размером скрытого слоя одиночной нейронной сети согласно табл. 2. 

Из данных в табл. 3 видно, что наименьшей ошибкой обладает динамически 
взвешиваемый ЕММ, при этом разница в оцениваемых параметрах между динамически 
и однократно взвешенными ЕММ очень мала. 


Таблица 3. Оценка различных архитектур на тестовом наборе РЁ 5её $1 


Архитектура МБЕ, 10* | МАЕ, 10° 
Одиночная ММ 3.51 0.115 
ЕММ 3.66 0.114 
Взвешенный ЕММ 2.76 9.65 
Динамически взвешиваемый ЕММ, шаг = 10 2.75 9.59 
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Рис. 3. Оценка различных архитектур в зависимости от размера скрытого слоя базовой ММ 


Оценка динамически взвешиваемого ЕММ 

Проведена оценка шага взвешивания для динамически взвешиваемого ЕММ. На 
рис. 4 представлен график МЗЕ для различных ЕММ. 

Процедура оценки состоит из следующих шагов. 
1. Обучение ЕММ с субоптимальным размером скрытого слоя. 
2. Определение интервала поиска шага взвешивания. 
3. Оценка МЗЕ ЕММ, взвешенного ЕММ, динамически взвешенного ЕММ с 
фиксированным шагом, динамически взвешенного ЕММ с шагом, равным текущему 
значению из интервала. 
4. Пока не конец интервала поиска, перейти к следующему элементу интервала. 
Видно, что наименьшей ошибкой обладает динамически взвешиваемый ЕММ с малым 
шагом (менее 10 временных отсчетов). 
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Рис. 4. Оценка динамически взвешиваемого ЕММ в зависимости от шага взвешивания 
Оценка времени обучений нейронных сетей на различных вычислительных 
архитектурах 


Целью эксперимента является определение различия в скорости выполнения 


обучения одиночной нейронной сети на центральном процессоре (ЦП) и графическом 
процессоре (ГП). 
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В качестве аппаратных средств использованы: ЦИ Ти Соге 15 4200Н, 2 
процессорных ядра, 4 потока выполнения, частота 2 800 МГц, Тигфо-частота 3 400 
МГц; ГП МУШТА ОеРогсе СТХ 860М, частота 1029 МГц, 640 ядер СОПА. 

В качестве экспериментальной платформы выбран набор средств МаЧаБ. В 
эксперименте использовалась следующие параметры при обучении нейронной сети: 

- архитектура — многослойная нейронная сеть с одним скрытым слоем; 
- размер скрытого слоя в диапазоне [4, 56] нейронов; 

- обучение методом КРКОР; 

- обучающая выборка 6613 образцов; 

- размер входного слоя 480; 

- размер входного слоя 1. 

Процедура эксперимента: 1) Задать интервал размеров скрытого слоя. 2) Выбрать 
аппаратное средство (ЦП, ГП). 3) Выбрать значение из интервала. 4) Обучить 10 
одиночных нейронных сетей. 5) Оценить среднее время выполнения. 6) Если не все 
значения из интервала использованы, то перейти к п. 3. 7) Если не все аппаратные 
средства использованы, то перейти к п.2. Результаты представлены в таблице 4. 

Как видно из таблицы, в среднем наблюдается 5-ти кратное уменьшение времени 
обучения одной нейронной сети при использовании графического процессора с 
поддержкой технологии СОРА. Таким образом, применение ГП для ускорения 
обучения нейронных сетей позволяет значительно ускорить процедуру. 


Таблица 4. Оценка времени обучений нейронных сетей на различных 
вычислительных архитектурах 


Размер скрытого слоя Майаб СРО, с. Майаь СРИ(СОРБА), с. Ускорение 
4 93,9962, 17,2422 5,4515 
12 109,2202 19,5071 5,5990 
20 86,2531 18,4156 4,6837 
28 105,0203 20,0411 5,2402 
36 113,4552 18,902, 6,0023 
44 90,6871 19,8095 4,5780 
52 95,4515 16,4389 5,8064 
56 107,1488 20,8944 5,1281 
Среднее 5,3112 
Медиана 5,3459 
Минимум 4,5780 
Заключение 


Использование ЕММ значительно понижает ошибку при прогнозировании по 
сравнению с одиночной ММ. Лучшей точностью обладает динамически взвешиваемый 
ЕММ с малым шагом взвешивания (менее 10 временных отсчетов), при этом разница в 
оцениваемых параметрах между динамически взвешиваемым и однократно 
взвешенным ЕММ незначительна. Наименьшая среднеквадратическая ошибка при 
анализе телеметрической информации, формируемой датчиками СР$, достигается при 
использовании динамически взвешиваемого ЕММ с шагом взвешивания 10 и равна 
2,75х10“. Тестирование показало, что выполнение обучения одиночной нейронной 
сети на ГИ с поддержкой технологии СОПЛА дает 5-ти кратное уменьшение времени 
обучения одной нейронной сети, по сравнению с ЦП, для указанного оборудования. 
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ВЕЗОМЕ 

У. Мага$ВКо, А. опакт 

Сопзгисйоп оЁ ЕпзетЫе о? Меига! МеуогК ог Зрасесгай Т@аетегу 
Мш@уачае Типе Зее Еогеса5Ипе 

1 015 рарег, \е ргорозе ап арргоасВ {ю зо]ушя Фе рго Мет оЁ Гогесазип® шшауаг- 
1ае ите земез оЁ 1еетешу Ааа изше епзетЫе пеига! пебуо!К$. АрргоасВез © Ше соп- 
5гасНоп оЁ пеига| пебмотКк епзетЫез аге апа]у7е4 ап4 ассигасу оЁ рге@сйоп 15 еуашаеа. 1 
15 зе а розз6Иу оЁР наше фе пеига|] пебмогК епзетЫе$ Гог гедисте еггог$ оЁ 
шшауапае ите земез ГогесазИп®. Ехрегилеп зВо\и ФаЁ епзетЫез з1етиЙсапИу гедисе 
Фе ГогесазИпя еггог ш сотрайзоп \ИВ ше пеига! пебуо $. РупаписаПу уе1?Ме4 еп- 
зетЫе у а зта| %ер оЁ герейцуе мех (]ез$ Фап 10 затр]ез) Ваз фе зтаПез( еггог 
ап4 Фе Ч1Шегепсе ш Фе езитае4 рагатеег$ ог \уе2Ме4 епзетЫе$ 1$ уегу зтаП. Тве 
шшипит теап зацаге еггог аё зпон-епит ГогесазИпе оЁ (еетешу даа оМатед Бу зепзог$ оЁ 
Фе сотгесНоп ргори!510п зуфет 15$ едиа! ю 2,75х10-4. А15о {езипе Ваз зВо\’й ФаЕ пепц-га1 
пебмогК шаште оп а зае СРУ уиф СОРА (есбпоозу епаез$ 5-РЮю14 4есгеазе ш фе ите 
оЁ гашиша а зе пеига| пебуогК ш сотрагзоп у Фе СРО ш Ше зресйеа едилртеге. 
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